RESUMO
Resumo: Introdução: A avaliação do estudante é componente essencial de todo programa educacional. O aprendizado das ciências básicas é fundamental para dar sentido ao que se aprende na fase clínica da formação de um profissional em saúde. Entretanto, a maioria dos treinamentos de elaboradores de testes de múltipla escolha (TME) é voltada à formulação de questões clínicas e não inclui abordagem específica para questões das ciências básicas. Relato de experiência: Foi realizada uma oficina para a capacitação docente na elaboração de TME de aplicação dos conhecimentos de ciências básicas, visando à elaboração de uma prova a ser aplicada no final do ciclo básico de seis cursos da saúde. O material instrucional foi elaborado pelos autores, que ofereceram uma oficina no formato on-line. Um diferencial dessa capacitação foi a aplicação de modelos de elaboração de enunciados com contextos definidos, utilizando momentos de preparo assíncronos e encontro síncrono. Após a oficina, aplicaram-se questionários sobre a satisfação e aprendizagem dos participantes. A maioria avaliou a oficina como boa ou muito boa e referiu aumento da percepção de capacidade para elaborar TME, e, ao final, somente 7% se sentiram pouco preparados para elaborar um TME seguindo as boas práticas. Houve melhora na qualidade dos TME elaborados, tendo como referencial os índices de dificuldade e discriminação. Discussão: Existem evidências do valor do desenvolvimento do corpo docente na melhoria da qualidade das questões produzidas. O formato de oficina proposto foi bem avaliado pelos participantes e contribuiu para a qualidade das questões de provas aplicadas ao final do ciclo básico. Conclusão: Estratégias como a descrita qualificam as avaliações dentro da escola e contribuem para a organização de provas externas.
Abstract: Introduction: Student assessment is an essential component of all educational programs. Basic science learning is essential for making clinical knowledge meaningful to healthcare students. However, most item writer training is focused on the formulation of clinical questions and does not include a specific approach to basic science questions. Experience Report: Workshops on item writing for knowledge application on basic sciences were carried out with the aim of planning a test to be applied at the end of the basic cycle of six health courses. The instructional material was prepared by the authors, who offered online workshops. A differential of this training was the application of models of item lead-in elaboration with defined contexts, using moments of asynchronous preparation and synchronous encounter. After each workshop, surveys were applied to assess participants' satisfaction and learning. Most participants rated the workshop as good or very good and reported an increase in their perceived ability to prepare single best answer multiple-choice questions. At the end, only 7% reported they were not prepared to write an item following good practices. There was an improvement in the quality of the items prepared, using the difficulty and discrimination indexes as a reference. Discussion: There is evidence of the value of faculty development in improving the quality of the questions produced. The proposed workshop format was well evaluated by the participants and contributed to the quality of tests applied to students at the end of the basic science cycle. Conclusion: Strategies such this qualify assessments within the school and contribute to the organization of external exams.
RESUMO
A sociedade brasileira vem discutindo, recentemente, a ideia de implementar um exame de licenciamento em Medicina (ELM) para médicos recém-formados no país. Para avaliar a adequação dessa proposta e sua real necessidade, analisa-se neste trabalho se os ELMs estabelecem eficazmente a aptidão dos recém-formados para exercer a Medicina e se os sistemas de avaliação vigentes no ensino médico brasileiro já o fazem. Usando o modelo baseado em competências como referencial, discute-se a experiência da comunidade internacional com os ELMs e as características das avaliações que se propõem a medir, no Brasil, a aptidão dos recém-formados. Conclui-se que, isoladamente, ambas as alternativas são ineficazes para cumprir esse objetivo. Propõe-se o desenvolvimento de um programa mais amplo de avaliação e enfatiza-se a importância da colaboração entre os atores envolvidos para aprimorar a qualidade das avaliações dos médicos recém-formados no Brasil.(AU)
The introduction a medical licensing examination (MLE) for the country's newly qualified doctors has been the subject of discussion recently in Brazil. To assess the suitability of and real need for this test, this article analyzes whether the MLE provides an effective measure of the aptitude of newly qualified doctors and whether the evaluation system currently in place in medical education already does this. Using a competency-based model, we discuss experiences with MLEs in other countries and the features of the examinations proposed in Brazil to measure the aptitudes of newly qualified doctors. It is concluded that, in isolation, both alternatives are inadequate. We propose the development of a broader assessment program and stress the importance of collaboration between the different actors involved in order to enhance the quality of the examinations proposed to test the aptitude of newly qualified doctors in Brazil.(AU)
La sociedad brasileña ha discutido recientemente la idea de implementar un examen de licencia (ELM) para médicos recién graduados en el país. Para evaluar la adecuación de esta propuesta y su real necesidad, se analiza en este trabajo si los ELMs establecen eficazmente la aptitud de los recién graduados para ejercer la Medicina y si los sistemas de evaluación vigentes en la enseñanza médica brasileña ya lo hacen. Usando el modelo basado en competencias como factor referencial, se discute la experiencia de la comunidad internacional con los ELMs y las características de las evaluaciones que se proponen medir, en Brasil, la aptitud de los recién graduados. Se concluye que, aisladamente, ambas alternativas son ineficaces para cumplir ese objetivo. Se propone el desarrollo de un programa más amplio de evaluación y se enfatiza la importancia de la colaboración entre los actores envueltos para perfeccionar la calidad de las evaluaciones de los recién graduados en Brasil.(AU)
